Mặc dù đã biết nhau từ trước, mãi đến năm 1945, Rosalynn Smith mới có cuộc hẹn lần đầu với Jimmy Carter khi Jimmy gia nhập Hải quân Hoa Kỳ tại Annapolis. Ngày 7 tháng 7 năm 1946, lễ kết hôn của họ được tổ chức ở Plains.Rosalynn là mẹ của bốn người con: John William "Jack" (1947-), James Earl III "Chip" (1950-), Donnel Jeffrey "Jeff" (1952-) và Amy Lynn (1967-). Chỉ có người con đầu ra đời ở một nơi khác ngoài Georgia, do bà phải theo chồng đến nơi đóng quân.Năm 1953, sau khi Jimmy giải ngũ, Rosalynn giúp chồng điều hành một nông trang canh tác đậu phụng và một doanh nghiệp chuyên kinh doanh kho bãi, bà phụ trách về kế toán.Kể từ năm 1962, khi Jimmy Carter đắc cử thượng nghị sĩ của tiểu bang Georgia, Rosalynn bắt đầu tham gia tích cực vào chính trường.